我们考虑了一个终身学习场景，其中学习者面临着永恒和任意的事实流，并且必须决定哪一个保留其有限的内存。我们介绍了基于在线学习框架的数学模型，其中学习者本身针对一组专家措施，这些专家也是记忆所限制的，并反映了所记忆的不同政策。与事实流交流是偶尔的问题，并且在这些学习者中的每一个都没有记住相应的事实，就会出现损失。它的目标是几乎和最佳的后士专家一样，同时使用大致相同的内存。我们在此内存受限场景中使用乘法权重更新算法来确定困难，并设计一种替代方案，其后悔保证与最佳可能接近。
translated by 谷歌翻译
我们考虑在线无替代环境中的$ k $ - emeans集群，其中一个人必须在流媒体传输时立即拍摄每个数据点$ x_t $ x_t $。我们的作品专注于\ emph {任意订单}假设没有限制点数$ x $如何订购或生成。与最佳聚类成本相比，在其近似值中评估该设置中的算法，它们选择的中心数及其内存使用率。最近，Bhattacharjee和Moshkovitz（2020）定义了一个参数，$ lower _ {\ alpha，k}（x）$，它控制最小的中心数量的任何$ \ alpha $-xpruckatimation聚类算法，必须给予任何金额输入$ x $。为了补充结果，我们提供了第一个算法，它需要$ \ tilde {o}（下_ {\ alpha，k}（x））$中心（k，log n $）同时实现恒定近似除了保存中心所需的内存之外，还使用$ \ tilde {o}（k）$内存。我们的算法显示它在无替代设置中，可以在使用很少的额外内存时占用订单 - 最佳中心。
translated by 谷歌翻译
对对抗性示例强大的学习分类器已经获得了最近的关注。标准强大学习框架的主要缺点是人为强大的RADIUS $ R $，适用于所有输入。这忽略了数据可能是高度异构的事实，在这种情况下，它是合理的，在某些数据区域中，鲁棒性区域应该更大，并且在其他区域中更小。在本文中，我们通过提出名为邻域最佳分类器的新限制分类器来解决此限制，该分类通过使用最接近的支持点的标签扩展其支持之外的贝叶斯最佳分类器。然后，我们认为该分类器可能会使其稳健性区域的大小最大化，但受到等于贝叶斯的准确性的约束。然后，我们存在足够的条件，该条件下可以表示为重量函数的一般非参数方法会聚在此限制，并且显示最近的邻居和内核分类器在某些条件下满足它们。
translated by 谷歌翻译
我们考虑使用对抗鲁棒性学习的样本复杂性。对于此问题的大多数现有理论结果已经考虑了数据中不同类别在一起或重叠的设置。通过一些实际应用程序，我们认为，相比之下，存在具有完美精度和稳健性的分类器的分类器的良好分离的情况，并表明样品复杂性叙述了一个完全不同的故事。具体地，对于线性分类器，我们显示了大类分离的分布式，其中任何算法的预期鲁棒丢失至少是$ \ω（\ FRAC {D} {n}）$，而最大边距算法已预期标准亏损$ o（\ frac {1} {n}）$。这表明了通过现有技术不能获得的标准和鲁棒损耗中的间隙。另外，我们介绍了一种算法，给定鲁棒率半径远小于类之间的间隙的实例，给出了预期鲁棒损失的解决方案是$ O（\ FRAC {1} {n}）$。这表明，对于非常好的数据，可实现$ O（\ FRAC {1} {n}）$的收敛速度，否则就是这样。我们的结果适用于任何$ \ ell_p $ norm以$ p> 1 $（包括$ p = \ idty $）为稳健。
translated by 谷歌翻译
In this paper we address the solution of the popular Wordle puzzle, using new reinforcement learning methods, which apply more generally to adaptive control of dynamic systems and to classes of Partially Observable Markov Decision Process (POMDP) problems. These methods are based on approximation in value space and the rollout approach, admit a straightforward implementation, and provide improved performance over various heuristic approaches. For the Wordle puzzle, they yield on-line solution strategies that are very close to optimal at relatively modest computational cost. Our methods are viable for more complex versions of Wordle and related search problems, for which an optimal strategy would be impossible to compute. They are also applicable to a wide range of adaptive sequential decision problems that involve an unknown or frequently changing environment whose parameters are estimated on-line.
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
孟加拉国手语（BDSL）与其他标志语言一样 - 对于普通人来说很难学习，尤其是在表达信件时。在这张海报中，我们提出了Persign，该系统可以通过引入标志手势来重现人的形象。我们使此操作个性化，这意味着生成的图像可以保持人的初始图像轮廓 - 脸部，肤色，服装，背景 - 不变，同时适当地改变了手，手掌和手指位置。我们使用图像到图像翻译技术并构建相应的唯一数据集来完成任务。我们认为，翻译的图像可以减少签名者（使用手语的人）和非签名者之间的沟通差距，而无需事先了解BDSL。
translated by 谷歌翻译
转移学习是一种深入学习技术，可以改善当人类通知标签昂贵且有限时学习的问题。代替此类标签，它使用先前训练的源模型的权重作为训练新目标数据集的基本模型的初始权重。我们演示了一种新颖但一般的技术，用于自动创建此类源模型。我们根据高尺寸的几何形状（Cayley-Menger-Menger的决定因素）基于经典结果的有效且可扩展的算法生成伪标记。这种G2L（``标签的几何图形''）方法通过使用HyperVolume含量的贪婪计算来逐步构建伪标记。我们证明了该方法相对于预期准确性是可调节的，可以通过源和目标之间的数据集相似性（差异）的信息理论度量来预测。 280个实验的结果表明，这种机械技术生成的基本模型与在广泛的人类注销的Imagenet1k标签上训练的模型的基线相比具有相似或更好的可传递性，从而产生了0.43 \％的总体误差降低，而4个误差降低了4％，4个误差降低。在5个发散数据集中测试。
translated by 谷歌翻译
我们开发了数据驱动的模型，以预测机器人在社交就餐场景中何时应进食。能够与朋友和家人独立饮食被认为是具有行动不便的人的最令人难忘，最重要的活动之一。机器人可以潜在地帮助这项活动，但是由机器人辅助的喂养是一个多方面的问题，在咬合，咬合时机和咬合转移方面面临挑战。特别是在社交就餐场景中，特别是由于在社交用餐场景中变得唯一挑战性，因为可能会中断社交人类机器人群体的互动。我们的关键见解是，考虑到社交线索的微妙平衡的咬合时序策略可能会导致在社交用餐场景中在机器人辅助喂养过程中进行无缝互动。我们通过收集一个包含30组三人共同饮食的多模式人类尊贵数据集（HHCD）来解决这个问题。我们使用此数据集分析人类人类的赋形行为，并在社交用餐场景中开发咬合时正时预测模型。我们还将这些模型转移到人类机器人的态度方案中。我们的用户研究表明，当我们的算法使用食客之间的多模式社交信号线索来建模时，预测会有所改善。 HHCD数据集，用户研究的视频和代码将在接受后公开发布。
translated by 谷歌翻译
通常通过过去的选择来告知机器学习中的评估，例如要使用哪些数据集或指标。该标准化可以使用排行榜对平等基础进行比较，但是随着出现更好的替代方案，评估选择变得不佳。这个问题在自然语言生成中尤其相关，该语言需要不断改善的数据集，指标和人类评估以提出确定性的主张。为了使遵循最佳模型评估实践更加容易，我们介绍了GEMV2。新版本的一代，评估和指标基准为数据集，模型和指标开发人员提供了模块化基础架构，以使彼此受益。GEMV2支持40种记录的数据集中51种语言。所有数据集的模型都可以在线评估，我们的交互式数据卡创建和渲染工具使得在Living Benchmark中添加新数据集变得更加容易。
translated by 谷歌翻译